จิตรเป็นบุตรของศิริ ภูมิศักดิ์ กับแสงเงิน ฉายาวงศ์[2] มีชื่อเดิมว่า สมจิตร ภูมิศักดิ์ แต่ต่อมาเปลี่ยนเป็น จิตร เพียงคำเดียว ตามนโยบายตั้งชื่อให้ระบุเพศชายหญิงอย่างชัดเจน ของ จอมพล ป. พิบูลสงคราม[ต้องการอ้างอิง]

พ.ศ. 2479 จิตรติดตามบิดา ซึ่งรับราชการเป็นนายตรวจสรรพสามิต เดินทางไปรับราชการยังจังหวัดกาญจนบุรี และเข้ารับการศึกษาชั้นประถมที่โรงเรียนประจำจังหวัดกาญจนบุรี จนถึงปี พ.ศ. 2482 จิตรย้ายมาอยู่ที่จังหวัดสมุทรปราการ อีก 7 เดือนบิดาก็ได้รับคำสั่งย้ายไปรับราชการในเมืองพระตะบอง (ปัจจุบันอยู่ในประเทศกัมพูชา) จิตรจึงย้ายตามไปด้วย และได้เข้าศึกษาชั้นมัธยมที่นั่น

พ.ศ. 2490 ประเทศไทยคืนดินแดนเมืองพระตะบองให้กัมพูชา จิตรจึงอพยพตามมารดากลับเมืองไทย ระหว่างที่ครอบครัวเขา ยังอยู่ที่พระตะบอง มารดาเดินทางไปค้าขายที่จังหวัดลพบุรี ขณะที่จิตรและพี่สาว เดินทางมาศึกษาต่อในกรุงเทพมหานคร โดยจิตรเข้าเรียนที่โรงเรียนเบญจมบพิตร (โรงเรียนมัธยมวัดเบญจมบพิตรในปัจจุบัน) และสอบเข้าโรงเรียนเตรียมอุดมศึกษา และคณะอักษรศาสตร์ จุฬาลงกรณ์มหาวิทยาลัย ในที่สุด

พ่อของจิตร (นายศิริ) เป็นคนที่มีความคิดก้าวหน้าและถือว่าหัวสมัยใหม่มากสำหรับคนในยุคนั้น ไม่ว่าจะเป็นการนำเทคโนโลยีใหม่ ๆ จากต่างประเทศเข้ามาเสมอ เช่น กล้องถ่ายรูป ทรานซิสเตอร์ ฯลฯ และไม่เคยหยุดที่จะเรียนรู้สิ่งใหม่ ๆ ก้าวไปพร้อมกับโลกที่มีการพัฒนาอย่างรวดเร็ว วิศัยทัศน์ที่กว้างไกลของบิดาส่วนหนึ่งเป็นผลทำให้ความคิดของผู้เป็นบุตรมีความก้าวหน้าและเปิดกว้างมากกว่าเด็กในสมัยนั้น[ต้องการอ้างอิง]